元学习是机器学习的一个分支，旨在将相关任务分布的数据合成以有效地解决新的数据。在过程控制中，许多系统具有相似且充分理解的动力学，这表明可以通过元学习创建可推广的控制器是可行的。在这项工作中，我们制定了一种元加强学习（META-RL）控制策略，该策略利用已知的离线信息进行培训，例如模型结构。对模型参数的分布而不是单个模型，对元RL代理进行了训练，从而使代理能够自动适应过程动力学的变化，同时保持性能。一个关键的设计元素是能够在培训期间离线利用基于模型的信息，同时保持与新环境交互的无模型策略结构。我们以前的工作已经证明了如何将这种方法应用于调整比例综合控制器以控制一阶过程的与工业相关的问题。在这项工作中，我们简要地重新引入了我们的方法，并证明了如何将其扩展到比例综合衍生的控制器和二阶系统。

元学习是机器学习的一个分支，它训练神经网络模型以合成各种数据，以快速解决新问题。在过程控制中，许多系统具有相似且充分理解的动力学，这表明可以通过元学习创建可推广的控制器是可行的。在这项工作中，我们制定了一种元加强学习（META-RL）控制策略，该策略可用于调整比例的整体控制器。我们的Meta-RL代理具有复发结构，该结构累积了“上下文”，以通过闭环中的隐藏状态变量学习系统的动力学。该体系结构使代理能够自动适应过程动力学的变化。在此处报告的测试中，对元RL代理完全离线训练了一阶和时间延迟系统，并从相同的训练过程动力学分布中得出的新型系统产生了出色的效果。一个关键的设计元素是能够在模拟环境中训练期间离线利用基于模型的信息，同时保持无模型的策略结构，以与真实过程动态不确定性的新过程进行交互。元学习是一种构建样品有效智能控制器的有前途的方法。

深度加强学习（RL）是一种优化驱动的框架，用于生产一般动力系统的控制策略，而无明确依赖过程模型。仿真报告了良好的结果。在这里，我们展示了在真实物理系统上实现了艺术深度RL算法状态的挑战。方面包括软件与现有硬件之间的相互作用;实验设计和样品效率;培训受输入限制;和算法和控制法的解释性。在我们的方法中，我们的方法是使用PID控制器作为培训RL策略。除了简单性之外，这种方法还具有多种吸引力功能：无需将额外的硬件添加到控制系统中，因为PID控制器可以通过标准可编程逻辑控制器轻松实现;控制法可以在参数空间的“安全”区域中很容易初始化;最终产品 - 一个调整良好的PID控制器 - 有一种形式，从业者可以充分推理和部署。

While the capabilities of autonomous systems have been steadily improving in recent years, these systems still struggle to rapidly explore previously unknown environments without the aid of GPS-assisted navigation. The DARPA Subterranean (SubT) Challenge aimed to fast track the development of autonomous exploration systems by evaluating their performance in real-world underground search-and-rescue scenarios. Subterranean environments present a plethora of challenges for robotic systems, such as limited communications, complex topology, visually-degraded sensing, and harsh terrain. The presented solution enables long-term autonomy with minimal human supervision by combining a powerful and independent single-agent autonomy stack, with higher level mission management operating over a flexible mesh network. The autonomy suite deployed on quadruped and wheeled robots was fully independent, freeing the human supervision to loosely supervise the mission and make high-impact strategic decisions. We also discuss lessons learned from fielding our system at the SubT Final Event, relating to vehicle versatility, system adaptability, and re-configurable communications.

KL-regularized reinforcement learning from expert demonstrations has proved successful in improving the sample efficiency of deep reinforcement learning algorithms, allowing them to be applied to challenging physical real-world tasks. However, we show that KL-regularized reinforcement learning with behavioral reference policies derived from expert demonstrations can suffer from pathological training dynamics that can lead to slow, unstable, and suboptimal online learning. We show empirically that the pathology occurs for commonly chosen behavioral policy classes and demonstrate its impact on sample efficiency and online policy performance. Finally, we show that the pathology can be remedied by non-parametric behavioral reference policies and that this allows KL-regularized reinforcement learning to significantly outperform state-of-the-art approaches on a variety of challenging locomotion and dexterous hand manipulation tasks.

Purpose: The aim of this study was to demonstrate the utility of unsupervised domain adaptation (UDA) in automated knee osteoarthritis (OA) phenotype classification using a small dataset (n=50). Materials and Methods: For this retrospective study, we collected 3,166 three-dimensional (3D) double-echo steady-state magnetic resonance (MR) images from the Osteoarthritis Initiative dataset and 50 3D turbo/fast spin-echo MR images from our institute (in 2020 and 2021) as the source and target datasets, respectively. For each patient, the degree of knee OA was initially graded according to the MRI Osteoarthritis Knee Score (MOAKS) before being converted to binary OA phenotype labels. The proposed UDA pipeline included (a) pre-processing, which involved automatic segmentation and region-of-interest cropping; (b) source classifier training, which involved pre-training phenotype classifiers on the source dataset; (c) target encoder adaptation, which involved unsupervised adaption of the source encoder to the target encoder and (d) target classifier validation, which involved statistical analysis of the target classification performance evaluated by the area under the receiver operating characteristic curve (AUROC), sensitivity, specificity and accuracy. Additionally, a classifier was trained without UDA for comparison. Results: The target classifier trained with UDA achieved improved AUROC, sensitivity, specificity and accuracy for both knee OA phenotypes compared with the classifier trained without UDA. Conclusion: The proposed UDA approach improves the performance of automated knee OA phenotype classification for small target datasets by utilising a large, high-quality source dataset for training. The results successfully demonstrated the advantages of the UDA approach in classification on small datasets.

本文提出了一种用于在线增量同时本地化和映射（SLAM）的强大优化方法。由于在存在感知混叠的情况下数据关联的NP硬度，可拖动（大约）数据关联方法将产生错误的测量。我们需要猛烈的后端，在达到在线效率限制的同时，在存在异常值的情况下，可以在存在异常值的情况下将其收敛到准确的解决方案。现有的强大SLAM方法要么对离群值敏感，对初始化越来越敏感，要么无法提供在线效率。我们提出了强大的增量平滑和映射（RISAM）算法，这是一种基于渐变的非跨识别性的稳健后端优化器，用于增量大满贯。我们在基准测试数据集上证明了我们的算法实现在线效率，优于现有的在线方法，并匹配或改善现有的离线方法的性能。

在许多情况下，更简单的模型比更复杂的模型更可取，并且该模型复杂性的控制是机器学习中许多方法的目标，例如正则化，高参数调整和体系结构设计。在深度学习中，很难理解复杂性控制的潜在机制，因为许多传统措施并不适合深度神经网络。在这里，我们开发了几何复杂性的概念，该概念是使用离散的dirichlet能量计算的模型函数变异性的量度。使用理论论据和经验结果的结合，我们表明，许多常见的训练启发式方法，例如参数规范正规化，光谱规范正则化，平稳性正则化，隐式梯度正则化，噪声正则化和参数初始化的选择，都可以控制几何学复杂性，并提供一个统一的框架，以表征深度学习模型的行为。

通用数据模型解决了标准化电子健康记录（EHR）数据的许多挑战，但无法将其集成深度表型所需的资源。开放的生物学和生物医学本体论（OBO）铸造本体论提供了可用于生物学知识的语义计算表示，并能够整合多种生物医学数据。但是，将EHR数据映射到OBO Foundry本体论需要大量的手动策展和域专业知识。我们介绍了一个框架，用于将观察性医学成果合作伙伴关系（OMOP）标准词汇介绍给OBO铸造本体。使用此框架，我们制作了92,367条条件，8,615种药物成分和10,673个测量结果的映射。域专家验证了映射准确性，并且在24家医院进行检查时，映射覆盖了99％的条件和药物成分和68％的测量结果。最后，我们证明OMOP2OBO映射可以帮助系统地识别可能受益于基因检测的未诊断罕见病患者。

在不失去先前学习的情况下学习新任务和技能（即灾难性遗忘）是人为和生物神经网络的计算挑战，但是人工系统努力与其生物学类似物达成平等。哺乳动物的大脑采用众多神经手术来支持睡眠期间的持续学习。这些是人工适应的成熟。在这里，我们研究了建模哺乳动物睡眠的三个不同组成部分如何影响人工神经网络中的持续学习：（1）在非比型眼运动（NREM）睡眠期间观察到的垂直记忆重播过程； （2）链接到REM睡眠的生成记忆重播过程； （3）已提出的突触降压过程，以调整信噪比和支持神经保养。在评估持续学习CIFAR-100图像分类基准上的性能时，我们发现将所有三个睡眠组件的包含在内。在以后的任务期间，训练和灾难性遗忘在训练过程中提高了最高准确性。尽管某些灾难性遗忘在网络培训过程中持续存在，但更高水平的突触缩减水平会导致更好地保留早期任务，并进一步促进随后培训期间早期任务准确性的恢复。一个关键的要点是，在考虑使用突触缩小范围的水平时，手头有一个权衡 - 更具侵略性的缩减更好地保护早期任务，但较少的缩减可以增强学习新任务的能力。中级水平可以在训练过程中与最高的总体精度达到平衡。总体而言，我们的结果都提供了有关如何适应睡眠组件以增强人工连续学习系统的洞察力，并突出了未来神经科学睡眠研究的领域，以进一步进一步进行此类系统。